Weiss telah dilahirkan di Tilsit, Prusia Timur[1] dan menyertai Tentera Darat pada 19 Mac 1908. Pada permulaan Perang Dunia 2, semasa kempen Poland, beliau diberi memerintah Kor I, menyandang jawatan ketua staf am pada 1 September. Pada 15 Disember 1940 beliau mengambil alih pemerintahan Divisyen Ringan Ke-97, dan pada 15 Januari 1941 memerintah Divisyen Ke-26 Infantri. Divisyen ini adalah subordinat kepada Kumpulan Tentera Darat Tengah dan terlibat dalam Operasi Barbarossa. Weiss mengambil alih pemerintahan Kor XXVII pada 1 Julai 1942. Weiss memimpin Tentera Darat Ke-2 di Barisan Timur dari 3 Februari 1943 ke atas. Beliau menerima pemerintahan Kumpulan Tentera Darat Utara pada 12 Mac 1945, bersamanya beliau menyerahkalah kepada tentera Amerika.